[Xend] Do network startup earlier.

Xend tries to rebuild the network configuration such as bridges and
vlan interfaces  (in those bridges) when starting. Unfortunately this
fails on the first startup since the network script has not run, yet,
and for example created peth0. When restarting xend it works due to
the peth0 being there then. This patch moves the initialization of the
network to an earlier time in the xend initialization process to
mitigate this problem.

Signed-off-by: Stefan Berger <stefanb@us.ibm.com>

[XEND] Fix for creating VLANs using the Xen-API

Recent changes to the setup of the peth0 interface have resulted in a
change of its MAC address. Previously it seems to have had a MAC
address of 'fe:ff:ff:ff:ff:ff', but now it has the same MAC address as
eth0. As a consequence to this the Xen-API code to create VLANs
(PIF.create_VLAN("peth0",...)) does not work anymore, since peth0 can
not be identified according to this previous criteria of fake MAC
address. This patch fixes this issue by identifying it through the
prefix 'peth'.

Signed-off-by: Stefan Berger <stefanb@us.ibm.com>

[ACM] Check a domain's authorization to run.

A domain is only authorized to run if it has a superset of Simple Type
Enforcement Types in its VM label compared to that of Domain-0, which
itself may not have all STEs available in a policy. This patch adds a
check for this into Xend and the necessary code support into Xen.

Signed-off-by: Stefan Berger <stefanb@us.ibm.com>

[HVM] Save/restore: don't leak shared-memory segments after HVM live-migrate.
Signed-off-by: Tim Deegan <Tim.Deegan@xensource.com>

xenstored: Fix socket-based connection teardown. Reading zero bytes
*should* in fact cause the connection to be destroyed. Fix this with a
little extra code in the readfd() handler.
Signed-off-by: Keir Fraser <keir@xensource.com>

xenstore: Small cleanups and fixes.
 1. readfd/writefd account for EINTR/EAGAIN errno returns.
 2. Handle zero return from ->read() and ->write() handlers
    symmetrically.
 3. Fix some indentation issues (use hard tabs).
Signed-off-by: Keir Fraser <keir@xensource.com>

Add domain name check and UUID check to 'xm new' command.

Add a domain name check and a UUID check to xm new command. The check
logic is as follows:

 - If the UUID is not specified
       - If a VM with same name exists
           => Update the config for that existing VM
       - Else no vm with same name exists
           => Define a brand new VM with auto-generated UUID
 - Else UUID is specified
       - If a VM with same UUID exists
             - If name is different
                   => Error
             - Else if name is same
                   => Update the config for that existing VM
       - Else no VM with same UUID exists
             - If name is different
                   => Define a branch new VM with that name
             - Else if name is same
                   => Error

Signed-off-by: Masaki Kanno <kanno.masaki@jp.fujitsu.com>

[HVM] Live-migration fixups after 15639:c585f993385c
Use the same xenstore area for log-dirty commands as for save/continue,
and avoid a race condition by acking the save command after the save.
Signed-off-by: Tim Deegan <Tim.Deegan@xensource.com>

Merge

[HVM] Control qemu's state-save via xenstore, instead of SIGUSR1
This lets us verify that qemu has indeed stopped processing before
we start saving guest memory.  Also allow qemu to continue processing
after the save has happened, instead of exiting immediately.
Signed-off-by: Tim Deegan <Tim.Deegan@xensource.com>

xenstored: Fairly round-robin schedule work across all connections.
Avoids total starvation under some workloads.
Signed-off-by: Keir Fraser <keir@xensource.com>

xenstored: Guarantee to fire @releaseDomain watch when a domain is destructed.
Previously this would be missed on some bail paths within xenstored
which would talloc_free() the connection.
Signed-off-by: Keir Fraser <keir@xensource.com>

[HVM] Shadow: release shadow lock during emulation path
and retake it only for the write-back at the end.
Signed-off-by: Tim Deegan <Tim.Deegan@xensource.com>

[PVFB] Fix shift key for graphical vnc display

There is a problem in the input of the key in the VNC connection on
the PV domain. When client's keyboard is not the same as the kind of
the keyboard of PVFB and GuestOS, it is not possible to input it correctly.

This patch handled the state of shift from the set keymap. When
client's keyboard is not same as the kind of PVFB/GuestOS, it is
possible to input it correctly. It was confirmed to input it correctly
mutually with this patch between en-us and ja.

Signed-off-by: Takanori Kasai <kasai.takanori@jp.fujitsu.com>

[IOEMU] Fix shift key for graphical vnc display

There is a problem in the input of the key in the VNC connection on
the HVM domain. When client's keyboard is not the same as the kind of
the keyboard of qemu-dm and GuestOS, it is not possible to input it
correctly.

   VNC client     qemu-dm & GuestOS
--------------+-----------------------
    ja             en-us               ==> NG
    en-us          en-us               ==> OK

Originally, the same keysym-code between client and qemu-dm is
transmitted. However, even if it is the same character, the state of
shift is different according to the kind of keyboard.

ex.
   "=" charactor
---------------------
en-us :  "="
ja    :  shift + "-"

Therefore, it is necessary to handle the state of the shift by setting
qemu-dm and GuestOS. There is information on whether shift is
necessary for each key for the keymap of qemu-dm.

ex.
 VNC client        : ja
 qemu-dm & GuestOS : en-us
 input key         : "="
 event client to qemu-dm :
  shift(push) >> "="(push) >> "="(release) >> shift(release)
 event qemu-dm to guest :
  shift(push) >> shift(release) >> "="(push) >> "="(release) >>
 shift(push) >>
shift(release)

This patch handled the state of shift from the set keymap.
When client's keyboard is not same as the kind of qemu-dm/GuestOS,
it is possible to input it correctly.
It was confirmed to input it correctly mutually with this patch
between en-us and ja.

Signed-off-by: Takanori Kasai <kasai.takanori@jp.fujitsu.com>

[ACM] Check boundary conditions of passed parameters before accessing
an array with them.
Signed-off-by: Stefan Berger <stefanb@us.ibm.com>

[ACM] Coding style cleanups.
Signed-off-by: Stefan Berger <stefanb@us.ibm.com>

[ACM] Allow the loadpolicy operation once

This patch allows the loadpolicy operation to only happen once, then
require an update until the default policy has been installed (again).

Signed-off-by: Stefan Berger <stefanb@us.ibm.com>

Fix IA64 build
Signed-off-by: Alex Williamson <alex.williamson@hp.com>

[HVM] HAP: mark domains as HAP-enabled, not shadow-enabled.
Thanks to Wei Huang.
Signed-off-by: TIm Deegan <Tim.Deegan@xensource.com>

[XEN] replace shadow_* with paging_* in common code
Signed-off-by: Tim Deegan <Tim.Deegan@xensource.com>

Xen PM: Clean up printk usage.
Signed-off-by: Keir Fraser <keir@xensource.com>

Xen PM: Remove useless __sync_lazy_execstate().
Signed-off-by: Keir Fraser <keir@xensource.com>

Xen PM: Enter all ACPI S states on boot CPU.
Signed-off-by: Kevin Tian <kevin.tian@intel.com>
Signed-off-by: Keir Fraser <keir@xensource.com>

Fix hypercall migration. schedule_tail() is not required
after set affinity, or else continue stub runs on current
cpu immediately before migrating is checked when switching
out.

Signed-off-by Kevin Tian <kevin.tian@intel.com>
Signed-off-by: Keir Fraser <keir@xensource.com>

[MAN] Explanation of recent extensions to xm security subcommands
Signed-off-by: Stefan Berger <stefanb@usa.ibm.com>

Improve xm vcpu-list command for inactive managed domains.
Signed-off-by: Masaki Kanno <kanno.masaki@jp.fujitsu.com>

xend: Give back memory to dom0 after a failed auto-balloon attempt.
Signed-off-by: Frank van der Linden <frank.vanderlinden@sun.com>

Fix 64-bit build.
Signed-off-by: Keir Fraser <keir@xensource.com>

Update xen-api docs.
Signed-off-by: Stefan Berger <stefanb@us.ibm.com>

[xend / libxen] Add support for labeling of virtual network interfaces.

This patch adds labeling of virtual network interfaces to xend and
makes this manageable through the Xen-API.  It's a feature that is
only usable if ACM is enabled in Xen and xend is used through the
xen-api. A labeled virtual network interface will be plugged into a
bridge where other domains with the same-labeled network interface are
connected to, so that only same-colored domains can communicate with
each other. The bridge should be connected to the outside world using
VLAN for isolation, extending the isolation beyond the local machine.
If a virtual machine is labeled with a VM label that only has one
Simple Type Enforcement Type then it is not necessary to label the
virtual network interface, but the color of the network interface is
determined from the VM's label. If, however, a virtual machine is
labeled with a VM label that has multiple Simple Type Enforcement
Types, then the explicit labeling of each virtual network interface is
required. To specify the label of a network interface, the vif line in
the VM's configuration file has been extended with parameters similar
use for specifying the label of the VM:

vif = ['policy=<policy name>,label=<resource label>']

This labels the VIF of the virtual machine for usage under the policy
'policy name' and labels it with the label 'resource label'.

Signed-off-by: Stefan Berger <stefanb@us.ibm.com>

xen: Clean up code style.
Signed-off-by: Keir Fraser <keir@xensource.com>

SMP support for Xen PM.

Add SMP sleep support to Xen. One new utility is created
to allow vcpu continue previous running after migration
to new processor.

Signed-off-by: Kevin Tian <kevin.tian@intel.com>
Signed-off-by: Keir Fraser <keir@xensource.com>

[host s3] Retrieve necessary sleep information from plain-text ACPI
tables (FADT/FACS), and keep one hypercall remained for sleep
notification.

Signed-off-by: Ke Yu <ke.yu@intel.com>
Signed-off-by: Kevin Tian <kevin.tian@intel.com>
Signed-off-by: Keir Fraser <keir@xensource.com>

vmx: Save host MSR state for SYSCALLs on all CPUs.
Signed-off-by: Keir Fraser <keir@xensource.com>

Build updates for building upstream trees.

* Merge the guts of the various upstream branch buildconfigs into a
  single mk.linux-2.6 which they include.
* Add support for the -git snapshot branch.
* Update .hgignore to ignore all these new trees.
* Update buildconfigs/enable-xen-config to make the upstream defconfig
  compile without questions.

Signed-off-by: Ian Campbell <ian.campbell@xensource.com>

Merge

[HVM] HAP: tidy up page allocation/tracking and monitor-table building.
Signed-off-by: Tim Deegan <Tim.Deegan@xensource.com>

hvm: Only complain about short-period periodic tickers.
Signed-off-by: Keir Fraser <keir@xensource.com>

[xend][xen-api] Save new memory values in domain config when calling
VM.set_memory_[dynamic|static]_[min|max] via Xen API.
Signed-off-by: Jim Fehlig <jfehlig@novell.com>

[Xend] More security-related fixes

This patch provides some more fixes related to the recent
security-related extensions to xend.

Signed-off-by: Stefan Berger <stefanb@us.ibm.com>

[Xm-Test] Additional tests for the xm-test suite

This adds a couple of test cases exercising the new policy management
functionality to the security tests.

Signed-off-by: Stefan Berger <stefanb@us.ibm.com>

[HVM] More MCA MSRs to ignore
Signed-off-by: Tim Deegan <Tim.Deegan@xensource.com>

[HVM] Hide contents of IA32_MCG_STATUS MSR from the guest.
It can't clear the MCE, and it probably can't understand it anyway.
Signed-off-by: Tim Deegan <Tim.Deegan@xensource.com>

hap: Merge the guest-walking functions into one.
Signed-off-by: Keir Fraser <keir@xensource.com>

Improve xm uptime command for inactive managed domains
Signed-off-by: Masaki Kanno <kanno.masaki@jp.fujitsu.com>

[VTPM] Make vTPM hotplug scripts use the UUID of the vTPM instance

Make the vTPM hotplug script use the UUID of the vTPM instance for
associating it with its instance number rather than the name of the
domain.
Also change the cleanup in the xm test to use the atexit mechanism
rather than explicitly calling a function to clean up.

Signed-off-by: Stefan Berger <stefanb@us.ibm.com>

Merge with PPC Xen tree.

hap: Fix for coding style.
Signed-off-by: Keir Fraser <keir@xensource.com>

[POWERPC][XEN] Use top-level CFLAGS.
- Append to CFLAGS instead of replacing it.
- Fix newly-exposed mixed statement/declaration warnings.

[HVM] Qemu rtl8139: correct rx CRC calculation
Signed-off-by: Tim Deegan <Tim.Deegan@xensource.com>

[HVM] Qemu rtl8139: correct ring-buffer wrapping.
The rx DMA should never overrun when it hits the end of a 64k buffer
Signed-off-by: Tim Deegan <Tim.Deegan@xensource.com>

[XEN] HAP: need to intercept CR0 even when using NPT
because we tinker with CR0.TS.  Thanks to Wei Huang for pointing this out.
Signed-off-by: Tim Deegan <Tim.Deegan@xensource.com>

Remove unused function reserve_boot_memory() and alloc_boot_low_page().
Signed-off-by: Keir Fraser <keir@xensource.com>

xen: Fix 32-bit boot.
Signed-off-by: Keir Fraser <keir@xensource.com>

[POWERPC][XEN] Enable in-guest performance monitoring.
- Lazily save and restore the performance monitor counters when switching
  domains.
- Control with the H_PERFMON PAPR hypercall.
- Ignore guest perfmon exceptions that land in Xen.
Signed-off-by: Christian Ehrhardt <ehrhardt@linux.vnet.ibm.com>
Signed-off-by: Hollis Blanchard <hollisb@us.ibm.com>

[XEN][POWERPC] Fix build after NUMA nodemask changes.
Signed-off-by: Jerone Young <jyoung5@us.ibm.com>
Signed-off-by: Hollis Blanchard <hollisb@us.ibm.com>

Remove hard tabs.
Signed-off-by: Keir Fraser <keir@xensource.com>

x86/32: Limit bootstrap 1:1 mapping to 1GB.
Signed-off-by: Keir Fraser <keir@xensource.com>

Implement domctl_sendtrigger_nmi for x86 hvm.

This patch implements DOMCTL_SENDTRIGGER_NMI hypercall for x86 hvm
domains. We can manually inject NMI into a domain by using
'xm trigger [domain] nmi [vcpu]'.

Signed-off-by: Yosuke Iwamatsu <y-iwamatsu@ab.jp.nec.com>

Do not clobber AMD TSC offset on real-mode switch.
Signed-off-by: David Lively <dlively@virtualiron.com>
Signed-off-by: Ben Guthro <bguthro@virtualiron.com>

[Xend] Fix problem when destroying VMs using the Xen-API

When domains are destroyed/suspend-resume/migration using the Xen-API
things break due to the domid not having been reset. This patch fixes
this. This is the best place I found for fixing this problem. I could
not push this line into _stateSet() for the case of DOM_STATE_HALTED
and left a comment regarding this.

Signed-off-by: Stefan Berger <stefanb@us.ibm.com>

[Build] Remove ACM option for NULL and STE+CHWALL policy
Signed-off-by: Stefan Berger <stefanb@us.ibm.com>

[ACM-security] Some fixes to tools.

- Allow multiple ChineseWallTypes in a VM labels
- check for surfacing exceptions in the python code
- check for array sizes in the XML DOM in python
- properly display the labels when doing 'xm list --label' in xm's
non-Xen-API mode
- rely on the security checking hooks in xend to check access to the
block interface rather than doing this in xm.

Signed-off-by: Stefan Berger <stefanb@us.ibm.com>

Fix PV-on-HVM driver build.
Signed-off-by: Keir Fraser <keir@xensource.com>

[LIBXC] Fix xc_map_grant_refs() function.

This patch fixes the xc_map_grant_refs() function, which would fail
because, instead of passing the malloc()-ed ioctl argument pointer to
the ioctl, the address of this pointer was being passed instead.

Signed-off-by: Derek Murray <Derek.Murray@cl.cam.ac.uk>

x86: Various cleanups around CR4 handling, cpu_possible_map, and VMX initialisation.
Signed-off-by: Keir Fraser <keir@xensource.com>

[Docs] Documentation of extension of the Xen-API for managing security policies

Provides an extension to the Xen-API documentation with the classes
and methods implemented for supporting of managing security policies
using the Xen-API.

Signed-off-by: Stefan Berger <stefanb@us.ibm.com>

Merge with ia64 xen tree.

[IA64] Fix VTi domain shutdown

Event channel destruction is now done earlier, this patch does
the corresponding modification in IA64 side. It fixes dom0 crash
when VTI destroyed.

Signed-off-by: Zhang Xin <xing.z.zhang@intel.com>

Convert __init into __devinit in wakeup path.

Need to ensure all the code slice in the wakeup path still
existing. For this purpose, we have to use __devinit instead
of __init, since the former is null for CONFIG_HOTPLUG while
the latter always causes related code to be free-ed after
first boot.

Later when adding __init to some function, be sure to consider
wakeup case and cpu hotplug!

Signed-off-by <Kevin.Tian@intel.com>

Provide cpu hotplug support to Xen. Note this hotplug
support is specific to PM, instead of for a run-time
single CPU hotplug which can be a separate task. See
embedded comment:

/*
 * XXX: One important thing missed here is to migrate vcpus
 * from dead cpu to other online ones and then put whole
 * system into a stop state. It assures a safe environment
 * for a cpu hotplug/remove at normal running state.
 *
 * However for xen PM case, at this point:
 *     -> All other domains should be notified with PM event,
 *        and then in following states:
 *             * Suspend state, or
 *             * Paused state, which is a force step to all
 *               domains if they do nothing to suspend
 *     -> All vcpus of dom0 (except vcpu0) have already beem
 *        hot removed
 * with the net effect that all other cpus only have idle vcpu
 * running. In this special case, we can avoid vcpu migration
 * then and system can be considered in a stop state.
 *
 * So current cpu hotplug is a special version for PM specific
 * usage, and need more effort later for full cpu hotplug.
 * (ktian1)
 */

Signed-off-by: Kevin Tian <kevin.tian@intel.com>
Signed-off-by: Keir Fraser <keir@xensource.com>

Pull necessary Linux CPU hotplug logic into Xen. Due to
distinct difference on basic hierarchy and features,
this pull is done on function level.

Signed-off-by Kevin Tian <kevin.tian@intel.com>

Add HVM hardware feature suspend/resume.
Signed-off-by: Ke Yu <ke.yu@intel.com>
Signed-off-by: Kevin Tian <kevin.tian@intel.com>
Signed-off-by: Keir Fraser <keir@xensource.com>

Provide basic Xen PM infrastructure

Basic infrastructure for Xen S3 support with a common CPU
context save/restore logic for both 32bit and 64bit.

Wakeup code is split into two parts:
    - the first locates after trampoline code, to share all the
      tricks on the latter, like relocation base and identy mapping
    - the 2nd part locates in xen code segment, to do the actual
      CPU context restore

Signed-off-by Ke Yu <ke.yu@intel.com>
Signed-off-by Kevin Tian <kevin.tian@intel.com>

hvm: Re-introduce LPT1 device in ACPI tables.

Once the presence of LPT1 is baked into a Windows guest, it gets upset
if it is subsequently removed. Hence we add the 'LTP1' device object
back into the ACPI DSDT, and remove IRQ 7 from the list of IRQs usable
by the PCI-ISA links.

Signed-off-by: Keir Fraser <keir@xensource.com>

Add new domctl hypercall to expose current heap values.  This
functionality is needed for probing how much memory is available in a
given node prior to VM creation.

Signed-off-by: Ryan Harper <ryanh@us.ibm.com>
Signed-off-by: Keir Fraser <keir@xensource.com>

[VTPM] Fixed typo in VTPM manager.

Replaces an instance of pthread_mutex_lock() that should be
pthreaad_mutex_unlock(). With thanks to our OpenTC partners at the
Technical University of Sofia, whose static analysis found this bug.

Signed-off-by: Derek G. Murray <Derek.Murray@cl.cam.ac.uk>

[xend] Fix xm trigger command for inactive managed domains
Signed-off-by: Masaki Kanno <kanno.masaki@jp.fujitsu.com>

xend: Fix 'xm dumpcore' for inactive managed domains.
Signed-off-by: Masaki Kanno <kanno.masaki@jp.fujitsu.com>

[xenstore] adds a -w (wide) flag to xenstore-ls to support seeing full
contents of xenstore entries. There is a bit of code cleanup as well
(snprintf vs. sprintf), one formatting fix, and comments).

There is no change to the behavior of xenstore-ls without -w.

Signed-off-by: John Zulauf <john.zulauf@intel.com>

[XM] Tools support for extensions of the Xen-API for managing security policies

This patch adds a couple of new commands for using the Xen-API
extensions for security policies. Older tools are converted to support
going through the Xen-API for their operations rather than doing the
operations directly in their own code.

Signed-off-by: Stefan Berger <stefanb@us.ibm.com>

Make QEMU consistently report write caching support for emulated IDE
drives to fix a hang during SLES 9 HVM guest installation.

Without this, the SLES 9 installer kernels (32 and 64 bit) were
getting inconsistent information from QEMU as to whether the
(emulated) IDE drives support write caching (which they do).  So part
of the kernel thought write caching was enabled (and enabled the usage
of barrier writes) and part of it didn't, which triggered a bug in
which the same barrier write is submitted over and over again ...

Fixed by setting another bit in the WIN_IDENTIFY (IDE drive "identify"
command) response to indicate we really, truly support write caching.

Signed-off-by: David Lively <dlively@virtualiron.com>
Signed-off-by: Ben Guthro <bguthro@virtualiron.com>

vmx: Stupid typo in BUG_ON() stmt.
Signed-off-by: Keir Fraser <keir@xensource.com>

vmx: Never use physical addresses above 4GB for VMCS state on i386.

Thsi requires special allocation of the vlapic regs page, but does let
us get rid of some top-half writes to a few VMCS fields.

Assert a few more facts about the VMX_BASIC_MSR.

Signed-off-by: Keir Fraser <keir@xensource.com>

[IA64] Fixup physinfo

Use max cpus per node to guess at sockets per node.  This avoids
averaging problems with offline cpus and nodes without cpus.  Also
fill in the cpu_to_node array.

Signed-off-by: Alex Williamson <alex.williamson@hp.com>

Simplify vmx host state setup code.
Signed-off-by: Xin Li <xin.b.li@intel.com>

xenoprof: Fix initialisation. Much can be done at boot-time, as
indicated by the fact that the low-level functiosn are marked
'__init'.
Signed-off-by: Keir Fraser <keir@xensource.com>

merge with xen-unstable.hg

[libxen] C-bindings for the extensions of the Xen-API for managing security policies
Signed-off-by: Stefan Berger <stefanb@us.ibm.com>

hvm: Fix memcpy_words() asm in ioemu.
Signed-off-by: Keir Fraser <keir@xensource.com>

Re-factor e820 truncation code and reintroduce clipping for 32-on-64
guests (to 166GB).
Signed-off-by: Keir Fraser <keir@xensource.com>

Xen API specification improvements.

Move the error list to be more prominent, and explicitly document
which generic error codes can be returned by all methods.

Mark host CPU flags/features return value as unspecified.

Document PERMISSION_DENIED.

Document error returns of session.login_with_password.

Signed-off-by: John Levon <john.levon@sun.com>

xend: Fix xm pause/unpause for inactive managed domains.
Signed-off-by: Masaki Kanno <kanno.masaki@jp.fujitsu.com>

xend: Count CPUs rather than relying on a static
nodes/sockets/cores/threads relationship.
Signed-off-by: Alex Williamson <alex.williamson@hp.com>

xm: Improve help message for vif creation.
Signed-off-by: Masaki Kanno <kanno.masaki@jp.fujitsu.com>

Simplify Unisys ES7000 code in light of the fact we do not support
legacy boxes with very non-standard APIC setup.
From: Raj Subrahmanian <raj.subrahmanian@unisys.com>
Signed-off-by: Keir Fraser <keir@xensource.com>

xend: Missing last line from Xen_API security patch.
Signed-off-by: Stefan Berger <stefanb@us.ibm.com>

Add accel option to vif xend config.
Signed-off-by: Kieran Mansley <kmansley@solarflare.com>

hvm: Clean ups and fix MSR access functions.
Signed-off-by: Xin Li <xin.b.li@intel.com>
Signed-off-by: Keir Fraser <keir@xensource.com>